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探索 式 搜索 中 基于 面部 表情 识别 的 用 户 情绪 及 影响 因素 研究 ” 
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摘 S: [目的 /意义 ] 结合 面部 表情 识别 技术 ,关注 搜索 过 程 的 情绪 与 相关 因素 的 关系 ,探讨 搜索 过 程 的 情绪 与 搜索 交互 
行为 、 体 验 的 关系 ,为 基于 搜索 交互 行为 的 用 户 情绪 识别 与 预测 提供 参考 ,为 用 户 搜索 交互 过 程 的 体验 提升 提供 
借鉴 。 [ 方法 过程] 通过 实验 研究 , 招 幕 48 名 被 试 分 为 两 组 ,分 别 在 有 时 间 限 制 和 无 时 间 限 制 情况 下 完成 三 个 指 
定 任务 ,收集 用 户 的 表情 数据 行为 数据 和 相关 自 评 数据 。[ 结果 /结论 ] 研究 结果 表明 :搜索 过 程 中 ,用 户 表 现 的 
中 性 情绪 占 比 最 高 (58.03% ) ,其 次 是 消极 情绪 (29.88% ) ,积极 情绪 出 现 比例 最 少 (12. 10% ) ;用 户 的 非 中 性 情绪 
出 现 占 比 越 高 ,搜索 后 体验 越 差 ,反之 ,中 性 情绪 出 现 占 比 越 高 ,用 户 搜索 后 体验 越 好 。 有 时 间 限 制 组 的 用 户 表现 
的 悲伤 .厌恶 .惊讶 高兴 比 例 都 显著 高 于 无 时 间 限 制 组 ;同时 ,中 性 情绪 出 现 比例 显著 低 于 无 时 间 限 制 组 。 高 任 
务 难度 感知 组 用 户 表现 出 更 多 厌恶 .愤怒 情绪 ,更 少 中 性 情绪 。 页 面 切 换 场 景 下 更 容易 出 现 非 中 性 情绪 。 搜 索 过 
程 中 的 中 性 情绪 越 多 ,用 户 在 搜索 后 的 体验 越 好 ,而 消极 情绪 和 积极 情绪 的 占 比 都 与 搜索 后 体验 呈现 负 相关 。 


词 : 情绪 表情 识别 ”探索 式 搜索 ”影响 因素 


a 搜索 是 人 们 日 常生 活 、 学 习 、 工 作 中 常见 的 活动 之 
Z Ef 
也 涤 伴 随 产 生 不 同 的 情绪 ,可 能 影响 人 们 的 搜索 行为 、 


取 箱 深 索 ,而 烦恼 .焦虑 .挫折 愤 儿 等 消极 情结 则 可 能 
闭 嗓 用 户 信心 ,使 其 停止 或 者 放弃 查寻 过 程 ，。 为 了 
促进 用 户 开展 有 效 的 信息 搜索 活动 ,信息 行为 ,人 机 交 


互 、 信 息 检 索 等 领域 的 研究 者 也 在 不 断 探 索 信 息 搜索 
活动 中 用 户 的 情绪 特点 。2006 ^E,G. Marchionini 首次 
提出 探索 式 搜索 ,用 来 描述 一 种 开放 的 、 持 续 的 .多方 
面 的 信息 搜索 问题 情境 ,搜索 过 程 具有 机 会 性 .反复 性 
和 多 策略 性 特点 ”。 不 同 于 传统 的 “ 问 - 答 ” 式 搜索 ， 
用 户 在 探索 式 搜 索 初 期 的 信息 需求 模糊 ,因为 缺乏 搜 
索 对 象 的 相关 知识 ,不 得 不 通过 多 次 交互 ,不断 调整 搜 
索 目 标 进 行 调研 和 学 习 , 搜 索 终止 时 刻 也 同样 存在 不 
确定 性 ”。 因 此 ,人 们 在 探索 式 搜索 中 更 容易 因为 过 
程 的 反复 迭代 、 搜 索 持续 时 间 的 增加 以 及 用 户 个 体 及 
其 他 外 部 因素 的 影响 而 产生 情绪 ,进而 影响 交互 行为 


和 绩效 。 

信息 搜索 过 程 伴随 着 情感 体验 过 程 ,搜索 过 程 中 
的 积极 与 消极 情绪 将 影响 注意 力 、 记 忆 、 表 现 和 判 
断 ”“。 尽 管 认 知 观 一 直 在 信息 行为 领域 占据 主导 地 
位 ,情感 视角 在 近年 来 随 着 情感 计算 ,感性 工学 等 情感 
言 息 处 理 技术 的 快速 发 展 , 也 逐渐 受到 关注 ,在 信息 行 
为 领域 涌现 了 一 批 将 情感 因素 纳入 考虑 的 相关 研究 工 
作 , 同 时 ,也 出 现 了 对 信息 行为 中 情绪 问题 的 专门 关 
注 , 如 不 同情 境 下 的 信息 焦虑 问题 .情感 负荷 问题 
AT 。 情 绪 体 验 具 有 多 样 性 广泛 性 和 分 化 性 ” ,其 产 
生 原 因 及 其 对 搜索 交互 行为 的 影响 ,在 不 同 个 体 上 哇 
现 的 差异 等 ,都 还 有 待 进一步 的 研究 和 揭示 。 本 研究 
结合 面部 表情 识别 技术 ,关注 搜索 过 程 的 情绪 与 相关 
因素 的 关系 ,探讨 搜索 过 程 的 情绪 与 搜索 交互 行为 . 体 
验 的 关系 ,为 基于 搜索 交互 行为 的 用 户 情绪 状态 的 自 
动 识别 与 预测 提供 参考 和 借鉴 ,服务 于 搜索 交互 过 程 
的 优化 。 


2 国内 外 相关 研究 
在 信息 搜索 行为 研究 领域 ,研究 者 们 关注 伴随 搜 


* 本 文系 国家 自然 科学 基金 项 目 "探索 式 检索 过 程 中 用 户 的 情感 体验 及 其 影响 机 理 研 究 ”( 项 目 编号 :71974015 ) 研究 成 果 之 一 。 
作者 简介 : 黄 旦 ,教授 ,博士 ,E-mail:huangkun@bnu. edu. en ; BH] A8 , REHE ; 9 4r-5EB ,硕士 研究 生 ; 新 健 , 副 教授 ,博士 。 
收 稿 日 期 :2021 -07-22 修 回 日 期 :2021 -11-27 ”本文 起 止 页 码 :93 -104 ”本 文责 任 编辑 : 易 飞 
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索 过 程 用 户 的 情绪 状态 和 变化 。 研 究 者 们 既 从 搜索 的 
宏观 过 程 ,也 从 搜索 的 微观 过 程 进行 过 探讨 ,并 且 , 也 


有 一 些 研究 者 尝试 利用 面部 表情 识别 技术 识别 用 户 搜 
索 过 程 中 的 情绪 。 


英国 格拉 斯 哥 大 学 计算 机 科学 学 院 的 工 Arapakis 
教授 2008 -2009 年 之 间 , 开 展 了 一 系列 将 表情 识别 技 
术 应 用 于 交互 式 信息 搜索 的 研究 。I，Arapakis %7 R 
取 面 部 表情 识别 技术 探究 情绪 在 信息 寻求 过 程 中 作 
用 。 该 研究 招募 24 名 被 试 完 成 三 项 不 同 难度 的 搜索 
任务 ,任务 进行 过 程 中 用 摄像 头 录制 用 户 搜索 过 程 表 
情 ,使 用 表情 识别 模型 eMotion 对 被 试 表情 进行 逐 帧 识 
别 , 结 果 发 现 ,任务 类 型 对 于 用 户 的 不 愉快 的 刺激 有 显 
著 影响 ,而 对 于 用 户 的 情感 强度 .掩饰 情感 的 独立 程度 
驹 显著 影响 ;但 基于 面部 识别 的 用 户 搜索 过 程 情绪 方 
面 -该 研 究 没有 发 现 其 显著 关联 因素 。 之 后 ,[ Arapa- 
k 全 等 "尝试 利用 用 户 面部 表情 探究 多 媒体 推荐 系统 
的 已 化 路 径 。 该 研究 开发 过 一 个 推荐 系统 ,在 该 系统 
过 少 行 了 用 户 实验 ,使 用 支持 向 量 机 来 分 析 用 户 每 个 
搜索 动作 的 对 应 面部 情绪 。 研 究 结果 表明 ,在 搜索 动 
人 加 及 查看 内 容 动作 中 ,不 同 任务 类 型 下 用 户 情绪 有 
着 三 著 的 变化 ,但 不 同 任务 中 情绪 刺激 ( 指 代 搜 索 或 查 
看 四 容 等 行为 ) 与 各 项 情绪 本 身 没有 显著 关联 。 I 
Afopakis 等 "试图 通过 面部 表情 和 外 周 生 理 信号 预测 
搜索 结果 主题 相关 性 。 该 研究 基于 用 户 实验 数据 ,从 
用 站 面部 表情 及 外 周 生 理 信号 中 提取 一 组 特征 ,并 用 
支撑 向 量 机 和 近邻 法 等 方法 对 数据 进行 分 析 。 该 研 
究 建立 的 模型 准确 率 可 达 66.5% ,表明 基于 表情 识别 
的 摇 索 结果 相关 性 预测 具备 一 定 可 行 性 。 

美国 新 泽 西 州立 大 学 的 工 Lopatovska 于 2009 年 以 
“Emotional Aspects of the Online Information Retrieval 
Process” 为 题 完成 了 博士 论文 '" ,之 后 在 博士 论文 基 
础 上 ,她 分 别 于 2011 年 和 2014 年 发 表 了 两 篇 基于 面 
部 表情 识别 技术 的 论文 ,探讨 用 户 在 使 用 数字 图 书馆 
和 信息 查询 时 的 基本 情绪 状态 及 其 与 搜索 行为 的 关 
系 。2011 年 ,I， Lopatovska 采取 面部 表情 识别 技术 
研究 搜索 者 的 面部 表情 与 他 们 的 搜索 行为 的 关联 。 该 
研究 招募 36 名 被 试 分 别 进行 两 项 不 同 难度 的 搜索 任 
务 , 并 在 此 过 程 中 记录 他 们 的 面部 表情 变化 及 搜索 行 
为 。 该 论文 收集 了 鼠标 左 键 单 击 . 左 键 双 击 、 鼠 标 滚 
动 .页面 切换 等 12 项 搜索 行为 指标 ,对 于 表情 值 的 量 
化 采取 用 户 动作 前 后 15 秒 内 每 隔 三 秒表 情 识 别 结 
的 均值 表示 。 该 研究 结果 发 现 多 项 用 户 行为 指标 与 
用 户 面部 表情 存在 显著 关联 ,如 鼠标 左 键 单 击 将 使 


FI Pcr .悲伤 上 升 ;鼠标 左 键 双击 将 使 用 户 悲 
伤 .厌恶 情绪 上 升 ;鼠标 中 键 将 使 得 喜悦 、 惊 讶 情绪 
上 升 。2014 年 ,I Lopatovska' ”利用 同一 批 实验 数据 
考察 了 在 线 信 息 搜索 过 程 中 主要 情绪 、 次 要 情绪 和 
用 户 心 情 与 搜索 行为 的 关联 。 该 研究 基于 面部 表情 
识别 技术 测量 用 户主 要 情绪 , 使 用 搜索 后 访谈 中 提 
取 的 情绪 词 反映 用 户 次 要 情绪 ,使 用 任务 前 后 用 户 
填写 的 积极 - 消极 情绪 量 表 数 据 反 映 用 户 心 情 。 搜 
索 行为 主要 关注 任务 完成 时 间 、 唯 一 查询 次 数 、 查 看 
谷歌 页 面 次 数 等 8 项 行为 指标 。 对 于 主要 情绪 ,该 研 
究 使 用 典型 关联 分 析 法 (CCA ) 探究 其 与 行为 指标 的 
关联 ,尽管 所 有 函数 的 结果 模型 在 统计 上 不 显著 , 它 
们 的 结构 相关 系数 依然 表明 主要 情绪 与 搜索 行为 有 
一 定 的 关联 。 

伊朗 伊斯兰 阿 扎 德 大 学 的 M. Y. Zanganeh 等 已: 同 
样 采取 面部 表情 识别 技术 探索 情感 因素 在 博士 生 网 络 
言 息 搜索 中 的 作用 。 该 研究 面向 伊朗 大 学 招募 50 名 
被 试 ,要 求 每 名 被 试 完 成 。 该 研究 采用 CCA 进行 数据 
分 析 。 研 究 结果 表明 ,对 于 用 户 的 个 人 特征 ,发 现 用 户 
对 搜索 结果 的 满意 度 .网络 搜索 频率 .搜索 体验 、 对 搜 
索 任务 的 兴趣 以 及 对 相似 搜索 的 熟悉 程度 与 快乐 情绪 
呈正 相关 ;对 于 用 户 搜索 过 程 行为 ,发 现 具 有 更 多 快乐 
情绪 的 用 户 在 搜索 和 查看 搜索 结果 时 花费 了 更 多 的 时 
间 .访问 更 多 的 URL 地 址 .进行 更 多 的 查询 ,具有 更 多 
愤怒 和 厌恶 情绪 的 用 户 在 搜索 过 程 中 的 尝试 更 少 。 该 
研究 指出 ,用户 搜 索 过 程 浏览 得 越 彻底 ,其 情感 回馈 越 
多 ;有 兴趣 和 具有 快乐 等 积极 情感 的 用 户 在 进行 搜索 
时 获得 更 多 的 正 向 反馈 ,使 得 自我 效能 感 增加 ,使 之 更 
有 动力 坚持 搜索 。 

前 述 研究 结合 面部 表情 识别 技术 探测 用 户 搜 索 过 
程 的 表情 或 情绪 ,还 有 研究 者 结合 眼 动 数据 分 析 用 户 
网 页 浏览 中 的 情绪 ,不 过 这 类 结合 生理 学 特征 测量 的 
研究 整体 数量 上 还 较为 有 限 , 更 多 的 研究 通过 问卷 LUI 
谈 .实验 等 方式 开展 研究 ,利用 积极 - 消极 情绪 量 表 
(PANAS) ”创伤 应 激 水 平 问卷 (PTSD) ”状态 - 特 
AERE d e (STAT) 7 . FH pL TC TER E (GAQ) 
等 心理 学 专业 量 表 , 也 会 利用 图 情 领域 形成 的 相关 焦 
BER” 情感 负荷 量 表 '"” 。 还 有 些 研 究 者 在 实验 
中 采取 出 声 思 维 方式 ,根据 用 户 搜索 实验 中 口头 报告 
的 内 容 进行 文本 分 析 , 判断 情感 极 性 ” ,或 者 在 自然 
的 访谈 环境 下 ,或 者 在 实验 室 中 让 被 试 回 看 信息 交互 
过 程 来 回忆 并 描述 他 们 当时 的 情绪 状态 ”。 尽 管 情 
感 收集 方式 不 同 , 研 究 的 问题 类 似 ,主要 围绕 搜索 过 程 
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中 的 情绪 及 变化 特点 ,情绪 与 认 知 ,行为 的 关系 等 问 
题 , 不 少 研究 者 基于 C. C. Kuhlthau 的 信息 搜索 过 程 
ISP EU?" ,探索 儿童 大学生、 研究 生 等 不 同 群 体 的 
信息 搜索 过 程 特点 ,从 启动 .选择 .探索 、 确 切 表达 \ 收 
集 和 展示 等 阶段 分 析 情 感 . 认 知 和 行为 的 关系 。 也 有 
研究 者 关注 用 户 搜 索 中 情绪 的 影响 因素 ,如 任务 类 
型 3 任务 难度 感知 * E 
EZAT? 、 自 我 效能 感 " 、 搜 索 系统 因素 与 搜索 
"m 
搜索 任务 执行 前 后 的 情绪 测量 获得 ,对 于 过 程 中 的 情 
绪 监 测 较为 有 限 。 而 前 文中 提 到 的 利用 表情 技术 捕获 
过 程 中 情绪 的 研究 ,更 多 关注 的 是 情绪 与 行为 的 关系 ， 
较 少 考虑 情绪 受到 哪些 因素 影响 。 面 部 表情 识别 技术 
以 圭 经 济 性 与 更 小 的 干扰 性 等 优势 ” ,被 愈 来 愈 广泛 
地 十 用 于 各 全 源 域 的 用 户 情绪 识别 ,如 远程 教育 中 的 师 
apum Aat CL Dg e 23525 pb 7 、 医 学 领域 的 
PERRI E ” 等 ,因此 本 研究 利用 表情 识别 技术 ， 
将 击 部 表情 识别 结果 作为 对 用 户 搜索 过 程 情绪 的 测 
最 其 注 过 程 情 绪 的 分 布 特点 以 及 过 程 情绪 与 用 户 任 
AM IUS 1 ,搜索 交互 行为 的 关系 ,探讨 情绪 的 相关 
x iiis 
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3.47 研究 问题 
< 本 研究 通过 实验 室 研究 ,根据 P，Ekman 提出 的 7 
种 吉本 情绪 类 型 ,结合 面部 表情 数据 收集 ,对 探索 
式 搜索 任务 下 用 户 的 情绪 特征 及 其 影响 因素 进行 研 
窜 6 具 体 研究 问题 包括 : 

(1) 搜 索 过 程 中 用 户 基本 情绪 分 布 有 何 特征 

(2) 任 务 认 知 复杂 度 、 时 间 限 制 . 难 度 感知 是 否 
著 影 响 用 户 搜索 过 程 的 情绪 ? 

(3 ) 用 户 搜索 行为 与 体验 与 搜索 过 程 的 情绪 是 否 
存在 显著 相关 ? 
3.2 任务 设计 

K. Athukorala A O9 将 典型 的 探索 式 搜索 任务 分 
为 知识 获取 型 .比较 型 以 及 规划 型 搜索 任务 三 类 。 其 
中 ,知识 获取 型 任务 需要 被 试 对 于 特定 主题 的 信息 进 
行 开 放 式 搜集 ;比较 型 任务 需要 收集 有 关 两 个 或 多 个 
主题 的 信息 并 分 析 它 们 之 间 的 异同 ;规划 型 任务 内 容 
则 涉及 对 新 领域 概况 信息 的 搜集 与 整合 ,从 而 为 未 来 
的 活动 做 准备 。 这 三 类 任务 体现 了 理解 .分 析 和 创造 
的 不 同 认 知 复杂 度 ““*“ 。 因 此 ,本 研究 设计 了 表 1 所 
列 的 三 个 搜索 任务 : 


AA 


m 


R1 任务 设计 
编号 任务 内 容 任务 类 型 
1 在 课题 “基于 认 知 观 的 信息 检索 研究 "开展 过 程 中 ， 知识 获取 型 
您 需要 对 前 人 开展 过 的 相关 研究 工作 进行 文献 调研 
并 撰写 调研 报告 。 请 收集 尽 可 能 多 的 相关 文献 (不 
撰写 报告 , 仅 收 集 、 下 载 ) 
2 匡 校 进行 金融 工程 专业 的 课程 建设 ,委托 您 调研 2 所 比较 型 
高 校 开设 的 金融 工程 或 相关 课程 作为 学 习 标 杆 ,分 析 
两 所 学 校 在 课程 教学 目标 教学 内 容 与 安排 上 的 共性 
和 差异 ,并 撰写 分 析 要 点 
3 ZAM KRGE” 这 个 话题 举办 一 场 学 术 讲 座 ,请 您 规划 型 
设计 一 个 讲座 大 纲 和 内 容 要 点 (不 可 与 找到 的 文献 
在 内 容 结 构 上 雷同 ) 


3.3 ”用 户 情 绪 识 别 
本 研究 通过 表情 识别 和 自我 报告 两 种 方式 进行 了 

上 户 情绪 收集 。 因 为 情感 (feelings affect) 通常 指 情 
绪 过 程 中 人 的 主观 感受 或 主观 体验 ;情绪 (emotion) 
一 般 是 指 人 们 对 客观 事物 的 态度 和 体验 ;心情 (mood) 
则 反映 轻 度 或 中 度 的 情感 ， 比 情绪 持续 的 时 间 长 ”” 
因此 ,参考 已 有 研究 1 本 研究 采用 面部 表情 识 
别 收集 用 户 搜 索 过 程 的 情绪 ,使 用 PANAS 问卷 采用 自 
我 报告 的 方式 收集 搜索 前 .搜索 后 的 心情 ,从 而 
考察 搜索 过 程 的 情绪 与 搜索 前 、 后 的 心情 之 间 的 关系 。 
3.3.1 基于 表情 识别 的 情绪 测量 

面部 表情 识别 是 基于 人 脸 图 像 ,在 心理 学 相关 理 
论 指导 下 对 人 脸 情绪 进行 判断 的 情感 计算 技术 。P. 
Ekman 和 W. V. Friesen 于 1978 年 提出 了 基本 面部 情 
绪 框 架 (FACS) ,将 面部 情绪 分 为 恐惧 (fear) .生气 
(anger) , 厌恶 (disgust) | ij 24 ( happiness ) , 45 f; ( sad- 
ness) $A ( surprise ) 以 及 中 性 (neutral ) 7 种 ,通过 对 
于 人 脸 各 部 分 肌肉 动作 进行 编码 组 合 从 而 判别 用 户 情 
绪 。 在 情感 分 析 研 究 中 ,也 常常 归纳 为 积极 .消极 和 中 
性 三 类 进行 分 析 ” 。 

基于 前 期 调研 ,选择 人 工 智能 开放 平台 FACE ++ 
提供 的 商用 接口 进行 情绪 识别 。 本 Face ++ 是 北京 旷 
视 科 技 有 限 公 司 开发 的 一 款 商 用 人 工 智 能 开放 平台 ， 
其 提供 的 各 关 人 脸 识别 服务 在 国内 应 用 广泛 。 本 研究 
通过 编写 Python 程序 , 先 将 表情 录制 视频 进行 切 分 , 因 
为 用 户 表情 持续 的 时 间 一 般 为 5 - 10 pb ,故而 采取 
每 秒 提取 1 帧 的 方式 提取 用 户 表情 图 像 ,然后 通过 调 
用 API 获得 表情 图 片 对 应 7 类 情绪 的 概率 值 ,将 每 一 
帧 出 现 概率 值 最 大 的 情绪 类 型 作为 该 帧 的 表情 情绪 。 
为 了 检验 FACE ++ 在 本 研究 表情 图 片上 的 识别 准确 
性 ,进行 了 人 工 标注 对 比 实验 。 首 先 ,从 48 名 被 试 的 
144 条 会 话 中 分 别 随 机 抽取 5 张 表情 图 片 ,共计 获得 


y 
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720 张 表情 图 片 :然后 ,两 名 研究 生 在 前 期 进行 了 
FACS 理论 框架 标注 规则 的 培训 基础 上 ,对 720 张 表情 
图 片 进行 了 人 工 标注 。 标 注 过 程 中 ,对 标注 结果 进行 
比 对 ,产生 分 歧 的 图 片 进行 讨论 ,直到 取得 一 致 结果 。 
最 后 ,以 人 工 标注 的 结果 作为 基准 ,对 比 FACE ++ 的 标 
注 结果 ,得 到 FACE ++ 在 本 数据 集 上 的 标注 准确 率 为 
71.67% 。 根 据 表情 识别 相关 研究 的 识别 性 能 ”'， 
FACE ++ 在 本 数据 集 上 的 识别 准确 性 在 70% 以 上 , 因 


此 ,使 用 FACE ++ 作为 本 研究 识别 用 户 表情 的 分 析 
工具 。 
3.3.2 ”基于 PANAS 量 表 的 情绪 测量 

为 了 获得 用 户 执行 搜索 任务 前 后 的 情绪 ,本 研究 
还 采用 了 PANAS 积极 消极 情感 量 表 请 用 户 进行 自 陈 
Fo EKRE D. Watson 等 于 1988 年 提出 的 一 种 心 


和 消极 情绪 ,让 被 试 填写 对 此 刻 自己 每 一 种 情绪 的 评 
分 ,分 数 越 高 表示 相应 的 情绪 体验 越 高 。D. Watson 等 
出 ,个 体 情感 体验 的 结构 可 以 用 积极 情感 和 消极 情 
感 两 个 相互 独立 的 维度 来 描述 ” ,这 是 PANAS 量 表 
的 理论 基础 。 本 研究 选用 邱 林 等 ”修订 的 PANAS 量 
表 , 由 分 别 代表 积极 情绪 与 消极 情绪 的 18 个 词组 成 ， 
然后 采取 五 级 李 克 特 量 表 方式 进行 自 陈 评价 。 
3.4 ”搜索 行为 

整体 行为 特征 编码 部 分 ,本 研究 参考 已 有 相关 研 
究 ” ” ,通过 比较 .汇总 和 归纳 ,形成 一 个 完整 用 户 搜 
索 过 程 行为 指标 体系 。 该 体系 将 用 户 在 搜索 过 程 行为 
分 为 6 类 ,分 别 是 :查询 特征 ,查看 特征 点 击 特征 、 保 
存 特征 、. 悬 停 特征 和 停留 特征 ,具体 行为 指标 如 表 2 
所 示 : 


理 测量 量 表 ” 。 该 量 表 将 情绪 分 为 两 类 , 即 积极 情 绪 
N R2 用户 搜索 过 程 行为 指标 体系 
为 特征 行为 指标 
EIS 检索 源 使 用 个 数 查询 总 长 度 
. 查询 次 数 查询 项 总 数 
e 查询 的 平均 词 数 唯一 查询 项 总 数 
co 查询 的 平均 长 度 没 在 主题 描述 中 出 现 的 有 意义 字符 总 数 
CN 首次 查询 和 查询 检索 式 平均 长 度 之 关 没 在 主题 描述 中 出 现 的 唯一 有 意义 字符 总 数 
Qee 点 击 检索 结果 的 总 数 
»- 翻 页 点 击 的 总 次 数 
之 每 个 查询 的 平均 翻 页 点 击 次 数 
> 看 特征 查看 所 有 SERP 页 面 总 数 每 次 查询 访问 唯一 SERP 页 面 的 平均 次 数 
© 查看 所 有 唯一 SERP 页 面 总 数 每 次 查询 访问 Doc 页 面 的 平均 次 数 
c 查看 所 有 Doc 页 面 总 数 每 次 查询 访问 唯一 Doc 页 面 的 平均 次 数 
€ 查看 所 有 唯一 Doc 页 面 总 数 每 次 查询 访问 网 页 的 平均 次 数 
© 查看 所 有 网 页 总 数 每 次 查询 访问 唯一 网 页 的 平均 次 数 
查看 所 有 唯一 网 页 总 数 查看 Doc 页 面 平均 排名 
每 次 查询 访问 SERP 页 面 的 平均 次 数 
保存 特征 保存 Doc 页 面 数 
每 次 查询 保存 Doc 页 面 平均 次 数 
悬 停 特征 会 话 中 鼠标 悬 停 的 总 次 数 会 话 中 鼠标 悬 停 的 最 高 排名 
每 个 查询 鼠标 悬 停 的 平均 次 数 每 个 查询 鼠标 悬 停 的 平均 最 高 排名 
时 间 特 征 登录 页 停留 的 平均 时 间 Doc 时 长 /总 时 长 
Doc 停留 总 时 长 网 页 时 长 /总 时 长 
网 页 停留 总 时 长 文档 编辑 时 长 /总 时 长 


此 外 ,本 研究 还 根据 搜索 过 程 各 类 页 面 主要 功能 ， 
将 页 面 分 为 6 类, 见 表 3。 
3.5 数据 收集 

本 研究 随机 招募 了 48 名 大 学 生 , 其 中 ,男生 16 


一 次 查询 持续 时 间 的 平均 时 长 
完成 任务 总 时 间 


人 ,女生 32 人 ;本 科 生 33 人 ,研究 生 15 人 。 这 些 学 生 
来 自 北京 师范 大 学 .北京 化 工大 学 .北京 邮电 大 学 等 7 
所 高 校 ,涉及 24 个 专业 院 系 。 

根据 前 期 预 实验 ,48 名 被 试 被 随机 分 为 两 组 ， 分 
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(5) :93 - 104. 
表 3 搜索 过 程 页 面 分 类 及 说 明 
页 面 类 型 说 明 
登录 页 ( Landing Page) 用 户 构 造 检索 式 的 网 页 
SERP (Search Engine Results Page) 搜索 引擎 反馈 结果 的 网 页 
DOC ( Document ) 提供 内 容 的 网 页 
文件 浏览 ” 查看 下 载 到 本 地 的 文档 的 页 面 (一 般 为 PDF 文件 浏览 页 面 ) 
文档 编辑 在 本 地 进行 文档 编辑 的 页 面 
其 他 页 面 上 述 页 面 之 外 的 其 他 页 面 


别 是 时 间 限 制 组 (24 人 ) 与 非 时 间 限 制 组 (24 人 ) :时 
间 限 制 组 的 被 试 被 要 求 每 项 任务 完成 时 间 不 得 超过 
10 分 钟 , 时 间 到 则 停止 任务 ; 非 时 间 限 制 组 的 被 试 则 
没有 被 限制 任务 时 间 。 三 个 任务 的 顺序 采取 拉丁 方 设 
计 。 在 实验 开始 ,被 试 需要 填写 背景 信息 问卷 。 背 景 
信息 包含 基本 人 口 学 信息 、 言 息 素 养 、 搜 索 经 验 等 。 
实验 过 程 中 , 执行 每 个 任务 前 填写 问卷 ,包括 性 别 、 


一 


ty 是 否 有 信息 素养 教育 背景 等 问题 。 任 务 执行 
过 稳 中 ,通过 前 置 摄像 头 收集 用 户 搜索 过 程 的 面部 


入 数据 ,通过 Bandicam 工具 对 搜索 过 程 进行 屏幕 
出。 同时 ,任务 搜索 结束 后 被 试 还 需 完成 有 关 搜 

体验 的 相关 问题 ,包括 基于 PANAS 问卷 的 情绪 自 
除 ( 芹 索 结果 评价 (有 用 性 .相关 性 、 自 信心 和 满意 
胞 站 及 搜索 任务 难度 感知 等 。 经 过 数据 采集 ,共计 
IRE 126 589 秒 的 视频 ,按照 每 秒 截取 1 帧 ,共计 
得 得 到 126 589 张 图 片 。 使 用 Face + + 商用 服务 ,正确 
ABO I i CON 125 576 张 ,因此 ,识别 有 效率 为 
9920% ,另外 0.80% 的 图 片 帧 中 由 于 人 脸 超出 画面 
或 短 部 遮挡 过 多 等 原因 无 法 检测 到 人 脸 表 情 , 对 这 
部 分 图 片 进行 了 删除 。 


4 数据 分 析 


根据 7 类 情绪 出 现 的 频次 百分比 来 看 ,如 图 1 所 
Rr id UEM arie Bil 


种 情况 。 其 次 是 忧伤 (14. 7199), 再 次 是 愤怒 
ie pbi. 7296) . Eg M. (5. 3896) , K SE. 


(4.9696 ) , t Xie "P HR TEE TRIER C1. 7096) 。 可 见 ， 
用 户 搜索 过 程 中 , 近 6 成 时 间 的 情绪 为 中 性 ,其 他 时 间 
ee 恶 等 不 同情 绪 。 总 
体 来 看 ,忧伤 .愤怒 、 恺 惯 等 负面 情绪 总 占 比 为 
29. 88% ,高 于 积极 情绪 (12.10% ) 。 
4.1 不 同 任务 下 的 情绪 特征 
4.1.1 认 知 复杂 度 

对 三 个 任务 下 的 过 程 情绪 百分比 进行 检验 ,如 表 
4 所 列 ,结果 表明 ,尽管 三 个 任务 的 认 知 复杂 度 不 同 ， 


中 性 
dtf; mee" 14.7100 


58.0306 


愤怒 NENNEN 8.5106 
惊 计 mmm" 6.7206 
E EBEN 553895 
厌恶 mE 4.9600 
ZWH E 1.7096 


图 1 用 户 搜索 过 程 情绪 分 布 


各 类 情绪 出 现 的 频次 百分比 差异 并 不 显著 。 
表 4 任务 情境 对 于 用 户 搜索 情绪 的 影响 
任务 类 型 


搜索 过 程 情绪 。 任务 1 任务 2 ”任务 3 均值 /% 
(N=48)/% (N=48)/% (N=48)/% 

消极 悲伤 14.19 15.21 14. 73 0.531 14.71 
Wi o 8.60 8.00 8.91 0. 858 8.51 
厌恶 。 4.94 5.44 4.50 0. 894 4.96 
恐惧 — 2.50 1.13 1.47 0. 794 1.70 
总 计 030.24 — 29.78 — 29.61 0.912 29.88 

积极 BF 7.89 6.61 5.66 0. 764 6.72 
高 兴 4.89 4.78 6.46 0.992 5.38 
总 计 12.78 11.39 12.13 0.907 12.10 

中 性 ”中 性 756.98 58.83 58.26 — 0.969 58.03 

4.1.2 时 间 限 制 


对 于 时 间 限 制 ,Mann-Whitney U 检验 表明 ,在 有 时 
间 限 制 情况 下 ,悲伤 .厌恶 高兴 和 慰 讶 的 占 比 都 显著 
— P" ,而 中 性 情绪 占 比 则 显著 少 于 后 者 ,如 
表 5 所 示 。 可 见 , 有 时间 限 制 情况 下 用 户 在 搜索 过 程 
中 表现 了 更 多 非 中 性 的 情绪 类 型 。 
表 5 ”时间 限 制 对 于 用 户 搜索 情绪 的 影响 

时 间 限 制 


搜索 过 程 情绪 有 限制 。 ”无 限制 pi s 
(N=72)/% (N 272) /% i 

消极 悲伤 17.25 12.17 0. 042 * 14.71 
TZ 7.99 9.02 0.577 8.51 
厌恶 6. 68 3.24 0.003 ** 4.96 
MR 1.45 1.96 0.714 1.70 
总 计 33.37 26.39 0.011 * 29.88 

积极 惊讶 8.88 4.56 0. 004 ** 6.72 
HIM 6.98 3.77 0.018 * 5.38 
总 计 15. 86 8.33 0. 003 ** 12. 10 

中 性 中 性 50.77 65.28 0. 000 ** 58.03 


注 : ** 表 示 在 0.01 水 平 上 差异 显著 ; * 表示 在 0.05 水 平 上 差 
异 显著 
4.2 不 同 任务 难度 感知 下 的 用 户 情绪 

根据 任务 搜索 前 、 后 收集 的 任务 难度 感知 评价 ,可 
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以 将 144 条 用 户 搜索 会 话 分 为 三 组 ,分 别 为 低 难度 组 
(评分 <3) .中 难度 组 (评分 =3) 以 及 高 难度 组 (评分 
>3) 。 使 用 Kruscal Walis 检验 分 析 三 组 搜索 会 话 过 程 
用 户 情 绪 的 差异 ,如 表 6、 表 7 所 列 。 

表 6 不 同 前 测 感知 难度 的 用 户 搜索 情绪 差异 


前 测 任务 难度 感知 


搜索 过 程 情绪 。 低 难 度 中 难度 高 难度 均值 /% 
(N=20)/% (N=55)/% (N=69)/% 

消极 Eh 16. 84 17.30 12.02 0.196 — 14.71 
愤怒 2.44 9. 83 9.21 0.008** 8.51 
厌恶 1.80 2.76 7.63 0.001** 4.96 
恐惧 0. 90 2.23 1.52 0.884 — 1.70 
总 计 21.98 32.12 30.38 0.128 . 29.88 

积极 ”惊讶 7.14 4.97 7.99 0.165 6.72 
高 兴 2.94 4.04 7.15 | 0.006** 5.38 


0.026* 12.10 


中 性 67.94 58.86 54.48 0. 073 58.03 


[00] D gs pa E 
c ## 表 示 在 0.01 水 平 上 差异 显著 ; * 表 示 在 0.05 水 平 上 差异 


T- 
2 y 
总 计 10.08 9.01 15.14 
LO 
ut 


L] 


ebox7 不 同 后 测 感知 难度 的 用 户 搜索 情绪 差异 


后 测 任务 难度 感知 

i 低 难度 。 ”中 难度 。 高 难度 均值 /% 
© (N=43)/% (N=46)/% (N=55)/% 
i Eh 12. 80 18. 04 13.41 0.937 14.71 
~ KZ 6.57 8.72 9.84 0.015* 8.51 
S< 厌恶 3.28 3.74 7.29 0.014* — 4.96 
CO MR 2.13 1.85 1.25 0.582 — 1.70 
c 总 计 24.78 32.35 31.79 0.090 29.88 
JR d 6.48 5.93 7.51 0.466 | 6.72 
o 高 兴 3.55 4.76 7.33 0.132 5.38 

总 计 10.03 10. 69 14. 90 0.321 — 12.10 
中 性 ”中 性 65.19 56.96 53.31 0.041* 58.03 


E: * 表 示 在 0.05 水 平 上 差异 显著 


可 以 看 到 ,无 论 是 搜索 前 任务 难度 感知 ,还 是 搜索 
后 任务 难度 感知 ,不 同 任务 难度 感知 的 搜索 过 程 中 ,都 
呈现 出 愤怒 、 厌 恶 情 绪 在 困难 任务 中 出 现 百分比 显著 
高 于 偏 容易 的 任务 过 程 。 
4.3 ”搜索 交互 行为 与 用 户 情绪 
4.3.1 搜索 行为 

根据 表情 识别 的 情绪 分 析 结 果 , 将 7 种 情绪 归 
为 中 性 、 积 极 和 消极 三 类 。 对 搜索 行为 与 三 类 情绪 
极 性 进行 相关 性 分 析 。 表 8 列 出 了 Pearson 相关 性 
分 析 中 ,与 用 户 搜索 过 程 情绪 呈现 显著 相关 的 行为 
指标 。 


表 8 搜索 过 程 情绪 与 行为 的 相关 性 分 析 
搜索 行为 中 性 积极。 消极 


首次 查询 和 查询 检索 式 平均 长 度 之 差 .105 -.247** .059 
每 次 查询 访问 唯一 SERP 页 面 的 平均 次 数 055 -.189* .074 
每 次 查询 访问 Doc 页 面 的 平均 次 数 . 209 * -.134 -.141 

查看 Doe 页 面 平 均 排 名 .028 -.181* .100 
每 个 查询 鼠标 悬 停 的 平均 次 数 -.143 -.039 .192* 
SERP 时 长 /总 时 长 -.176*  -.017 3 


注 : ** 表 示 在 0.01 水 平 上 显著 相关 ; * 表 示 在 0.05 水 平 上 显著 
相关 

与 中 性 情绪 显著 相关 的 两 项 指标 表现 为 :每 次 
查询 访问 Doe 页 面 的 平均 次 数 越 多 , SERP 停留 时 
间 占 据 越 少 的 总 任务 时 长 ,用 户 搜 索 过 程 中 性 情绪 
越 多 。 

与 积极 情绪 显著 相关 的 三 项 指标 表现 为 :首次 查 
询 相 较 于 平均 查询 长 度 越 短 ,每 次 查询 访问 唯一 SERP 
页 面 的 平均 次 数 越 少 , 查 看 Doc 页 面 平均 排名 越 靠 前 ， 
用 户 搜 索 过 程 积极 情绪 越 多 。 

与 消极 情绪 显著 相关 的 两 项 指标 表现 为 :平均 每 
个 查询 鼠标 悬 停 的 次 数 越 多 ,SERP 停留 时 间 在 总 任务 
时 长 占 比 越 多 ,用 户 搜索 过 程 消极 情绪 越 多 。 
4.3.2 ”页面 停留 行为 

在 分 析 具 体 搜 索 行为 基础 上 ,本 研究 还 对 页 面 停 
留 场景 进行 了 分 析 。 首 先 ,统计 了 各 类 页 面 用 户 停 留 
时 间 ,如 表 9 所 示 : 

表 9 各 类 页 面 停留 


次 数 与 停留 时 间 统 计 


总 停留 时 间 / 秒 ”平均 停留 


dia BU (二 比 /%) 时 间 / 秒 
构造 检索 式 。 ”登录 页 680 7 518(6) 11.06 
选择 SERP 2 296 19 018(15) 8.28 
浏览 DOC 3 600 37 970(31) 10.55 
文件 浏览 150 3 287(3) 21.91 
输出 文档 编辑 1030 42 225(35) 41.00 
其 他 页 面 其 他 904 12 342(10) 13. 65 
合计 8 660 122 360(100) 14. 13 


进一步 比较 不 同 页 面 下 的 情绪 差异 , 见 表 10。 

可 见 , DOC 浏览 文档 编辑 等 页 面 停留 过 程 中 ,中 
性 情绪 显著 高 于 检索 式 构造 页 面 SERP 页 面 。 在 后 两 
类 页 面 中 ,中 性 情绪 显著 低 于 浏览 和 输出 类 页 面 ,并 
且 ,SERP 页 面 消极 情绪 占 比 最 高 ,积极 情绪 占 比 相对 
较 高 ,这 可 能 与 检索 式 构造 中 对 于 检索 词 .检索 策略 的 
选择 ,以 及 SERP 页 面 中 对 于 结果 进行 分 辩 过 程 会 面 
临 更 多 不 确定 性 有 关 。 
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R10 不 同 页 面 搜索 过 程 情绪 分 布 差 异 
mon 消极 /% 积极 /% Baer 
悲伤 TE 厌恶 恐惧 总 计 If 高 兴 总 计 
构造 检索 式 登录 页 13.27 9.33 5.64 1.15 29.38 7.71 5.24 12.95 57.66 
选择 SERP 14.22 8.97 5.29 1.82 30.3 7.39 3:3 12.89 56.81 
浏览 DOC 12.69 7.89 4.1 1.21 25.89 7.63 4.79 12.42 61.68 
文件 浏览 15.63 10.24 1.93 1:77 29.57 6.59 3.72 10.31 60.13 
输出 文档 编辑 15.61 9.24 3.93 1.27 30. 05 4.08 4.71 8.79 61.16 
ERU 其 他 12. 86 7.36 3.89 2.7 26.8 7.8 4.47 12.27 60.93 
均值 13.56 8.43 4.46 1.54 27.99 7.15 4.95 12.11 59.91] 
P {Ë 0.000 0.000 ** 0.000 ** 0.000 ** 0.000 0.000 0.000 0.000 ** 0.000 ** 
IE: ** 表 示 在 0.01 水 平 上 差异 显著 ; * 表 示 在 0.05 水 平 上 差异 显著 
4.3.3 页 面 切换 行为 表 11 页 面 切换 场景 相关 的 非 中 性 情绪 分 布 
一 用 户 在 搜索 过 程 中 的 大 部 分 时 间 呈 现 中 性 情绪 ， 窗口 数 
但 销 有 平均 约 40% 左 有 时 间 旦 现 出 非 中 性 的 不 同情 TEMA gau PERE WENE EPER dep 
2 X 态 。 观 察 被 试 搜 索 过 程 面 部 情绪 视频 发 现 ,页 面 切换 前 7 293 1 554 3 842 5396 73.99 
ORIS SEL ABER t 4 极 、 消 极 情绪 ,因此 进 一 切换 后 7295 1484 3606 5180 71.03 
px ART PEA AE h 性 情绪 的 出 现时 刻 与 页 面 切换 的 切换 前 后 合计 14586 — 3038 7538 — 10576 — 7251 
J 非 切换 过 程 10 031 1 491 4 078 5 569 55.52 
忆 在 页 面 切换 前 后 时 间 的 选取 上 ,本 研究 先 参考 了 | 4.4 ”搜索 过 程 情绪 与 前 后 情绪 .搜索 体验 
[SRBptovska 的 工作 ,该 研究 对 用 户 搜索 过 程 进行 各 相关 性 .有 用 性 、 自 信心 和 满意 度 是 4 个 常见 的 搜 


类 和 恬 标 动作 前 后 15 秒 的 表情 进行 分 析 , 以 3 秒 为 一 个 
音 侯 窗口 观察 不 同窗 口 情绪 分 布 的 差异 ,发 现在 左 键 
点 志 动 作 前 后 用 户 中 性 情绪 微弱 减少 ,而 惊讶 和 悲伤 
情绪 微弱 增加 ， 而 堪 键 点 击 一 般 意味 着 用 户 点 击 按 
ti eta Rr 因此 ,本 研究 将 非 中 性 情绪 出 
现 钢 时 间 节 点 分 为 页 面 切换 附近 与 页 面 浏览 过 程 
ias. 

本 研究 将 页 面 切换 进一步 细 分 为 切换 前 与 切换 
后 ,在 页 面 切换 前 出 现 的 情绪 归 为 页 面 切换 前 情绪 ,在 
页 面 切换 后 出 现 的 情绪 归 为 页 面 切换 后 情绪 ,否则 归 
为 页 面 浏览 过 程 中 出 现 的 情绪 。 情 绪 相关 的 研究 表 
明 , 情 绪 的 持续 时 长 一 般 为 5 - 10 秒 z ,而 本 研究 中 
用 户 的 页 面 平均 停留 时 长 为 14 秒 左右 ,因此 ,本 研究 
尝试 分 别 以 3 -7 秒 为 窗口 捕捉 页 面 切 换 动作 前 后 情绪 
分 布 ,并 移 除 用 户 停留 小 于 窗口 长 度 的 页 面 情绪 数据 ， 
结果 发 现 ,以 5 秒 为 窗口 时 用 户 在 页 面 切换 与 非 页 面 切 
换 过 程 非 中 性 情绪 分 布 差异 呈现 显著 性 ( 见 表 11)。 

根据 统计 可 以 看 到 , 共 提 取 页 面 切 换 前 .后 窗口 共 
计 14 586 个 ,捕捉 到 非 中 性 情绪 的 窗口 共计 10 576 个 ， 
占 比 72.51% ; 共 提 取 非 页 面 切换 过 程 的 窗口 10 031 个 ， 
非 中 性 情绪 窗口 共计 5569 个 , 占 比 55.52% 。 相 比 之 
下 , 非 中 性 情绪 更 多 发 生 在 页 面 切换 前 后 。 


索 体 验 评价 指标 。Pearson 分 析 结 果 见 表 12, 

可 以 看 到 ,用 户 对 于 搜索 结果 的 评价 与 搜索 过 程 
情绪 具有 显著 的 关联 。 其 中 ,相关 性 ` 有 用 性 和 自信 心 
都 与 搜索 过 程 消极 情绪 与 中 性 情绪 关联 显著 ,与 积极 
情绪 关联 不 显著 ,它们 都 与 消极 情绪 呈 负 相关 ,与 中 
性 情绪 呈正 相关 。 而 满意 度 与 搜索 过 程 三 类 情绪 都 
存在 显著 的 关联 , 它 与 积极 和 消极 情绪 均 呈 负 相 关 ， 
与 中 性 情绪 呈正 相关 。 总 体 而 言 , 可 以 发 现 ,用 户 搜 
索 过 程 情 绪 越 趋 于 中 性 ,其 对 于 搜索 结果 的 评价 就 
越 积极 。 


5 讨论 


由 前 述 分 析 可 以 看 到 ,用户 搜索 过 程 中 中 性 情绪 
占 比 近 60% ,搜索 过 程 的 情绪 与 任务 类 型 任务 难度 
感知 \ 搜 索 阶段 .交互 行为 .搜索 后 的 体验 都 存在 一 
的 相关 性 。 具 体 表现 为 : 

(1) 用 户 搜 索 过 程 大 部 分 时 间 呈 现 出 中 性 情绪 。 
本 研究 中 ,发 现 用 户 搜索 过 程 中 约 60% 左右 时 间 处 于 
中 性 的 情绪 状态 ,其 次 是 消极 情绪 ,整体 而 言 ,以 惊讶 
和 高 兴 为 主 的 积极 情绪 出 现 比例 最 少 。 这 一 发 现 与 已 
有 信息 搜索 实验 研究 的 发 现 不 太一 致 ,如 I. Arapakis 


等 和 I， Lopatovska"" 的 研究 发 现 惊讶 情绪 占 比 最 
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表 12 搜索 结果 评价 与 搜索 过 程 情绪 关联 相关 性 分 析 


搜索 体验 /情绪 过 程 积极 过 程 消极 过 程 中 性 前 测 积极 前 测 消极 后 测 积极 后 测 消极 
相关 性 -.098 -.204* .240 ** . 065 -.078 .255** -.307 ** 
有 用 性 -.117 一 .257 .299 154 056 .289 -.244 
自信 心 -.159 -.234 * .305 226 -.139 374 -.454 
满意 度 -.150 -.156 .232 050 -.146 .299 一 .445 
前 测 积极 -.152 -.150 .227 1 097 .738 071 
前 测 消极 -.013 .266 -.225* 097 1 .045 547 
后 测 积极 -.186 -.144 244 ** 738 . 045 1 042 
后 测 消极 .015 .230 ** -.210* 071 547 ** 042 1 


注 : ** 表 示 在 0.01 水 平 上 显著 相关 ; * 表示 在 0.05 水 平 上 显著 相关 


高 , 中 性 情绪 次 之 。 这 种 差异 可 能 一 方面 来 自 情绪 识 


索 过 程 面临 更 多 不 确定 ” ,不 同 的 用 户 也 将 因 不 确定 


UA L 有 族 内 优势 效应 有 关 。 人 情绪 调节 具有 文化 特异 
生 , 即 不 同 种 族 \ 不 同文 化 背景 的 用 户 在 情感 表达 上 存 
在 著 差 异 ”。 与 西方 被 试 相 比 ,东方 人 在 情绪 表现 上 
更 加 内 化 呈 。 另 一 方面 ,中 性 情绪 居多 与 用 户 于 思 
卷 波 入 阶段 情绪 趋 于 平静 、 表 情 变 化 不 强烈 有 关 , 如 
az 1 使 用 面部 情绪 识别 研究 用 户 在 信息 搜 
壹 过程 中 的 情绪 变化 时 发 现 ,大 多 数 用 户 在 搜索 过 程 
Bm 到 非常 强烈 的 情绪 变化 ,中 性 情绪 表达 较 
4. Sharma 45^ 通过 面部 识别 分 析 网 课 学 习 时 情 
有 专注 度 的 联系 时 也 指出 ,表现 出 中 性 情绪 的 人 正 
外 专注 状态 的 概率 高 于 其 他 诸如 高 兴 ` 翡 伤 等 情绪 ; 
魏 契 涛 等 7 发现 学 习 过 程 中 用 户 大 多 数 时 候 呈现 中 
VETE S sS. K. D’ Mello 4&9 观察 被 试 与 AutoTu- 
tox 酌 交互 过 程 ,发 现 被 试 大 多 数 时 候 呈 现 中 性 情绪 状 
态 二 此 外 ,中 性 情绪 状态 较 多 也 可 能 nomi 
RBA T Hit 情绪 有 关 。B.McDaniel 45^" 曾 在 
研究 中 发 现 无 聊 和 中 性 情绪 在 面部 特征 上 较 难 区 分 。 
本 研究 采取 实验 室 研究 方式 展开 ,所 设计 的 任务 并 非 
被 试 自发 任务 ,可 能 在 过 程 中 会 感到 “无 聊 ”, 导致 部 
分 无 聊 情绪 被 识别 成 了 中 性 。 不 过 从 中 性 情绪 与 搜索 
后 体验 的 相关 分 析 结果 来 看 ,中 性 情绪 更 多 来 自 对 搜 
索 过 程 的 专注 。 

(2) 从 任务 特征 来 看 ,并 未 发 现任 务 的 认 知 复杂 
度 影 响 搜索 过 程 的 情绪 ,与 1 Lopatovska 5 的 发 现 一 
致 。 不 过 任务 难度 感知 被 发 现 与 搜索 过 程 情绪 有 关 
系 ,搜索 前 任务 难度 感知 高 和 搜索 后 任务 难度 感知 高 
的 用 户 都 在 愤 把 .厌恶 情绪 上 表现 出 显著 高 于 任务 难 
度 感知 低 的 用 户 ;同时 ,搜索 后 的 任务 难度 感知 高 ,过 
程 的 中 性 情绪 显著 少 于 任务 难度 感知 低 的 用 户 。 也 就 
是 说 , 当 用 户 在 搜索 过 程 中 表现 的 非 中 性 情绪 越 多 , 那 
么 用 户 在 搜索 后 感知 的 难度 更 高 。 这 可 能 与 探索 式 搜 
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感 产生 对 应 更 加 积极 或 消极 的 预期 情绪 反应 有 关 '” , 
从 而 会 出 现 情绪 波动 更 加 明显 的 特点 ;因此 ,用 户 在 搜 
索 过 程 经 历 越 多 的 情绪 波动 , 则 用 户 可 能 在 搜索 过 程 
中 经 历 更 多 不 确定 性 , 带 给 用 户 更 多 焦虑 与 压力 ” ， 
削弱 用 户 的 搜索 体验 。 

(3) 从 时 间 压 力 来 看 ,时 间 限 制 会 影响 搜索 过 程 
的 情绪 。 即 无 时 间 限 制 情 况 下 ,用户 搜索 过 程 的 情绪 
更 加 中 性 平静 ,有 时 间 限 制 的 用 户 在 搜索 过 程 中 表现 
出 更 多 的 情绪 波动 ,中 性 情绪 分 布 相对 较 少 。 时 间 限 
制 容 易 给 用 户 带 来 时 间 压 力 , 有 时 间 限 制 组 的 时 间 压 
力 感 显著 高 于 无 时 间 限 制 组 (P=0.004)。 时 间 压 力 
的 形成 与 用 户 无 法 在 预期 应 有 的 时 间 内 完成 搜索 有 
关 , 这 种 时 间 压 力 感 容易 削弱 用 户 完成 任务 的 自信 ,让 
用 户 在 搜索 过 程 表 现 得 更 加 紧张 焦虑 “” 。 类 似 的 
RIME S. Y. Chen $$ D. Nahl 等 “中 的 研究 中 也 
可 以 看 到 。 以 往 研 究 更 多 通过 搜索 后 的 情绪 量 表 来 测 
量 , 因 此 ,本 研究 结合 表情 识别 对 过 程 情 绪 数 据 进行 收 
集 ,也 更 好 地 印证 了 自 陈 量 表 所 发 现 的 时 间 压 力 感 与 
搜索 过 程 情绪 的 关系 。 

(4) 搜 索 前 、 后 情绪 与 过 程 情绪 的 关系 表明 ,前 测 
与 后 测 积极 消极 情绪 与 其 搜索 过 程 情绪 呈现 显著 相关 
性 。 具 体 表现 为 ,用 户 在 搜索 前 情绪 越 趋 于 积极 ,搜索 
过 程 中 表现 越 平静 , 非 中 性 情绪 占 比 越 少 ;而 用 户 在 搜 
索 过 程 情绪 越 中 性 ,搜索 后 测 的 情绪 也 越 趋 于 积极 。 
并 且 ,搜索 过 程 的 中 性 情绪 越 高 ,用 户 对 于 搜索 的 相关 
性 有 用 性 、 自 信心 、 满 意 度 评价 也 越 高 ,而 过 程 的 消极 
情绪 越 高 ,会 降低 这 些 方面 的 评价 ,过 程 的 积极 部 分 影 
响 搜索 后 满意 ,不 过 呈现 的 是 负 相 关 。 这 也 再 次 表明 ， 
搜索 过 程 的 平静 有 助 于 搜索 后 获得 更 高 的 搜索 体验 ， 
过 程 中 的 消极 情绪 、 积 极 情绪 都 可 能 削弱 搜索 后 的 体 
验 。 因 此 ,搜索 过 程 用 户 越 少 经 历 波 动情 绪 ,搜索 后 的 
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下 其 月 于 
罗 士 超 ， 等 . 探索 式 搜索 中 基于 面部 表情 识别 的 用 户 情绪 及 影响 因素 研究 [可 ]. Ghir o, io m 


体验 越 积 极 。 

(5 ) 搜 索 过 程 的 情绪 变化 与 搜索 行为 呈现 一 定 的 
相关 性 。 从 具体 交互 行为 来 看 , 当 用 户 更 有 效率 、 更 快 
速 地 发 现 相 关 信 息 时 ,如 每 次 查询 访问 Doc 页 面 的 平 
均 次 数 越 多 ,每 次 查询 访问 唯一 SERP 页 面 的 平均 次 
数 越 少 ,查看 Doe 页 面 平均 排名 越 靠 前 ,用 户 在 搜索 过 
程 所 表现 的 消极 情绪 越 少 。 而 当 用 户 在 搜索 结果 判断 
上 花费 更 多 时 间 ,查看 Doc 后 发 现 值得 保存 信息 有 限 
时 ,可 能 会 引发 用 户 更 多 消极 情绪 。 并 且 , 从 引起 情绪 
变化 的 场景 来 看 , 非 中 性 情绪 主要 发 生 在 页 面 切换 前 
后 。 页 面 切换 往往 与 用 户 信息 加 工 对 象 和 任务 的 变化 
AKo ISP 模型 从 宏观 的 搜索 过 程 解释 了 搜索 过 程 从 
不 确定 性 到 逐步 明确 、 消 除 不 确定 性 的 过 程 。 用 户 会 
随 着 搜索 目标 的 解决 而 出 现 积极 、 消 极 情绪 。 将 切换 
nA- 个 新 任务 的 开始 ,那么 ISP. 模型 同样 具有 理论 
颖 性, 不 确定 性 的 过 程 更 容易 激发 起 用 户 的 非 中 性 

A Paid 性 有 所 降低 ,用 户 进入 稳定 的 认 知 理 

可 能 呈现 为 中 性 。 类 似 的 发 现在 教育 研 
上 现 , 如 学 习 者 的 中 性 表情 和 专注 表情 相似 
;中 性 情绪 下 保持 注意 力 集中 的 概率 在 相关 
lbs . Jen td 


性 与 问题 解 
JEBI EMX! 7 , 且 能 影响 学 习 表 现 “ ” 。 本 研究 也 


2 让 性情 结 与 搜索 体验 呈现 显著 正 相关 的 特点 。 

全 综合 前 述 发 现 和 分 析 , 搜 索 过 程 的 情绪 与 任务 情 
芹 索 前 后 的 情绪 都 表现 出 了 一 定 的 相关 ,尤其 是 不 
全面 和 页 面 切换 过 程 的 情绪 变化 特点 。 因 此 ,洞察 
a et ed 


面 的 用 户 认 知 状 态 的 推断 ， ids 高 信息 搜索 系统 的 
情感 支持 功能 ,如 下 方面 值得 进一步 关注 :首先 ,对 搜 


K 因为 基于 
面部 表情 识别 的 主要 情绪 、 基 于 自我 报告 的 次 要 情绪 
以 及 基于 量 表 的 用 户 心情 三 者 并 不 能 相互 替代 ,并 
且 , 受 制 于 表情 对 于 情绪 \ 心 情 反 映 的 程度 以 及 相互 的 
联系 还 需要 进一步 探索 ,此 外 ， es he 
下 的 特定 情绪 , 如 搜索 焦虑 、 结 果 满 意 等 情绪 。 其 ; 

加 强 对 典型 场景 的 分 析 。 vits LA E A: 
更 加 细 粒 度 的 研究 ,如 使 用 具备 帮助 功能 的 搜索 系 
Hi ,或 是 有 专业 人 士 参与 辅助 ”之 下 用 户 的 搜索 过 
程 中 的 情绪 是 否 产生 变化 ,或 是 探索 不 同 搜索 引擎 用 
户 的 情绪 体验 差异 。 加 强 情绪 与 行为 稳定 关系 的 探 
索 , 构 建 基于 行为 的 情绪 状态 及 其 变化 预测 模型 。 再 
次 ,加 强 情绪 识别 手段 的 丰富 性 ,从 更 多 角度 刻画 过 程 
情绪 ,如 通过 用 户 与 电脑 的 距离 .眼睛 在 屏幕 的 位 


置 评估 用 户 对 于 搜索 任务 的 专注 程度 ;加 入 姿态 表 
情 , 如 紧 插 的 拳头 、 垂 下 的 脑袋 作为 情绪 判断 的 参 
AU ;通过 智能 手 环 等 设备 获取 用 户 的 生理 信号 ,用 
作 主观 情绪 测量 的 指标 ,更 全 面 地 测量 情绪 特征 。 


6 结语 


本 研究 通过 实验 研究 ,招募 48 名 被 试 分 为 两 组 ， 
分 别 在 有 时 间 限 制 和 无 时 间 限 制 情况 下 完成 三 个 指定 
任务 ,收集 用 户 的 表情 数据 、 行 为 数据 和 相关 自 评 数 
据 。 结 果 表明 :总 体 来 看 ,搜索 过 程 中 ,用 户 表 现 的 中 
性 情绪 占 比 最 高 (58. 0390) , 其 次 是 消极 情绪 
(29.8896 ) ,积极 情绪 出 现 比 例 最 少 (12. 10% ) 。 有 时 
间 限 制 组 的 用 户 表 现 的 悲伤 .厌恶 .惊讶 、 高 兴 比 例 都 
显著 高 于 无 时 间 限 制 组 ;同时 ,中 性 情绪 出 现 比 例 显著 
低 于 无 时 间 限 制 组 。 高 任务 难度 感知 组 用 户 表现 出 更 
多 厌恶 愤怒 情绪 ,更 少 中 性 情绪 。 搜 索 过 程 中 的 中 性 
情绪 越 多 ,用 户 在 搜索 后 的 体验 越 好 ,而 消极 情绪 和 积 
极 情绪 的 占 比 都 与 搜索 后 搜索 体验 呈现 负 相关 。 可 
见 ,搜索 过 程 中 用 户 的 非 中 性 情绪 出 现 占 比 越 高 ,搜索 
后 体验 越 差 ,反之 ,中 性 情绪 出 现 占 比 越 高 ,用 户 搜索 
后 体验 越 好 。 

本 研究 的 主要 不 足 有 :样本 规模 较为 有 限 ,研究 发 
现 仅 限于 由 面部 表情 识别 测量 过 程 情绪 ,然而 并 不 是 
所 有 的 情绪 都 能 通过 表情 反映 。 因 此 ,本 研究 的 发 现 
还 需要 借助 更 多 方式 策略 情绪 并 进行 分 析 、 验 证 和 理 

论 解释 。 下 一 步 研究 也 有 待 在 非 大 学 生 群 体 以 及 更 大 
规模 的 样本 下 进行 检验 ,以 获得 过 程 表 情 及 变化 与 搜 
索 交 互 行为 间 更 稳定 的 关系 ,构建 更 系统 的 情绪 变化 
规律 的 模型 ,为 基于 搜索 交互 行为 的 用 户 情绪 预测 和 
干预 提供 参考 和 借鉴 。 
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Research on Users' Emotions and Impact Factors Based on Facial Expression 
Recognition in Exploratory Search 
Huang Kun Zheng Mingxuan Luo Shichao Jin Jian 
School of Government, Beijing Normal University, Beijing 100875 


Abstract: | Purpose/significance | Combined with facial expression recognition technology, this study focuses 


304.00825v1 


Cd the relationship between emotions and related factors in the search process, and explores the relationship among e- 
Caiions， search interaction behaviors, as well as user experience in the search process, so as to provide references 
for automatic recognition and prediction of users’? emotional state based on search interaction behaviors, and serve for 
n optimization of the search interaction process. | Method/process | Through experimental research, 48 subjects 
re recruited and divided into two groups. They completed three designated tasks with or without time constraints re- 
spectively , and their expression data, behavior data and related self-evaluation data were collected. | Result/conclu- 
“gion | The results show that: in the search process, users’ neutral emotions account for the highest proportion 
(58.0396 ) , followed by negative emotions (29. 8896 ), and positive emotions account for the least proportion 
(12.1096 ). The higher the proportion of users' non-neutral emotions, the worse the post-search experience, and 
conversely, the higher the proportion of neutral emotions, the better the users’ post-search experience. The propor- 
tion of sadness, disgust, surprise and happiness in the time limited group is significantly higher than that in the non- 
time limited group; at the same time, the proportion of neutral emotions in the time limited group is significantly low- 
er than that of the non-time limit group. The high task difficulty perception group shows more disgust, anger and less 
neutral emotions. Non-neutral emotions are more likely to occur in page switching scenarios. The more neutral emo- 
tions in the search process, the better the user' s experience after the search, while the proportion of negative emo- 
tions and positive emotions is negatively correlated with the experience after the search. 
Keywords: emotion facial expression recognition 
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